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ГЛАВА I • 



Круг вопросов.которым посвящена настоящая диссертация, 

| возник в 1964 году с определения А.#.Колмогоровым понятия 
[ сложности конструктивного об"екта ( Близкие понятия независи- 
I мо были рассмотрены А.А.Марковым и Р.Дж:Соломонокм ). 

Сложностью слова х по алгрритму А® А А.Колмогоров называл 
і минимальную длину двоичного слова р, кодирующего х ( т.е. 

такого, что сД(р)— X . Определённая таким образом ве- ! 
личина сильно зависит от вида алгоритма А®,и центральным ре- | 
зультатом,вызвавшим к жизни все дальнейшие исследовния, яви¬ 
лась теорема, установленная независимо А.4і, Колмогоровым и 
( несколько в иных терминах ) Р. Дж. Соломоновым. Она утвер¬ 
ждает существование оптимального алгоритма А®; дающего на¬ 
именьшее по сравнению с люб^алгоритмом В значение слож¬ 
ности с точностью до аддитивной константы ( не зависящей 
от х). Сложность слова х по произвольному оптимальному алго- ' 
ритму является уже достаточно инвариантной величиной и фунда- | 

ментальной характеристикой рассматриваемых объектов. ! 

Эта величина нашла много применений породила круг вопросов, 



который быстро превратился в довольн 
например, обзоряуй работу(ф|).\ 

6 процессе развития этой теории о 
некоторые другие величины,аналогичные 





совпадающие с ней ). Так, А.А.Марков и Д.Яовеланд рассматри¬ 
вали сложность разрешения конечных двоичны* последователь¬ 
ностей, П.Мартин-Деф построил величину,характеризующую "слу¬ 
чайность" последовательностей, автор вводил " априорную веро>- 
ятность" и т,п. К настоящему времени известно около десятка 

Возникает необходимость навести порядок в этом много¬ 
образии и взглянуть на все указанные величины с общей точки 
зрения, йто до некоторой степени делается следующими постро¬ 


ениями. 


\МЛ 


Финитной функцией мы будем называть таблицу, 
[ию на некотором конечном множестве 


задающую 

ао 

дг значе 


ниями в С ( Будем считать,что на э/га функция принима¬ 


ет значение 


). 


Определение .Фб"емным ограничением мы буде^ называть 
всякое перечислимое сейейство V финитнрх функций, таіее 


что 


I) 


^>/ Ф ^ $ е V, Т* 


2 ) 1С V ^ е I/ 


Определение. 

р алѵиНк 

•р ируеме й бу 


</, / у ) ^ и 

іуг^Ог-есн С—/ 

Пусть у - об"ёмное ограничение. ]/ 
называть всякую функцию .такую 


I) множество точек,лежащих над её графиком, перечис¬ 


лимо и 

іллі -€е- 


ОЦІЖ ъс. 9ЦС0- ІЛ 

^финитной функции Ф ,если ^ Ъ г ,то / * г 



ТЕОРЕМА 


для любого об"емного ограничения / су 


ствует минимальная с точностью до аддитивной константы* 





\ 


і сил 

#г.е. такая,что'ІК 





С (ѵ) 


к у (у) 4 і- м * 


Доказательство. 


Если есть конечное множеств® пар чисел^ ,то взяв на 
каждой вертикали самую нижнюю его точку (если такая есть ), 
мы получим график финитной функции. Будем называть её ниж¬ 
ней границей множества М. 

Пусть ч.р. функция П РИ каждом 6перечисляет 

перечислимое множество пар ( у а ). Зададим функцию 
и'(Ы\ таким алгоритмом: при каждом і она перечисляет 




ОС. и,воз ѵ 


Ж: 


каждый 




перечислимого 


что 


граница множества перечисленных элементов будет принадле- 


семейству [/ . 

Очевидно,что при каждом 


, мн оже с тв о, пе ре чис ляем ое 


функцией Оі .определяет некоторую I/ -мажорируемую функ¬ 
цию. Причем ни одна из них не окажется " забытой". Пусть 
теперь// - множество пар, лежащих над парами вида 

( X &+С-І ),где С' - константа из пункта % определения 
об"ёмного ограничения,а пара ( ) принадлежит мно¬ 

жеству, перечисляемому функцией Ц. 


і 


Докажем, что множество^ задаёт ]/ - мажо 
( аддитивная оптимальность её очевидна 




остро- 




1 



ения). То есть покажем, что любая финитная функция 
график которой лежит в принадлежит семейству I/ 
определения ясно, что можно выбрать конечное семейство 


финитных функций 
Отсюда следует, что 


і ^ п 


к 

-л 



такое, что №(* 
• Действительно, пусть 


X($-; + С (С-к)) 


'А 


УПЛУ\ ( у & ) 


индукцией по к от /о до І получаем требуемое. Теорема 


доказана. 



У 


Усу] 




вычисляющий по X 


любая 


Уп^(х) 


• Очевидно, что 

• Для простоты 


- УУЪЛГ\ 1 (Х) 

{еі/ 

I/ - мажоранта будет больше 
можно изучать не вами мажоранты К Сх) 

К (У) - ул, (ѵ) • Они будут /У- мажоран^^г 

у х 


, а разности 

Тссм*< 




Очевидно 


ия/мы 


* тЛ X )= 0. Такие 


очевидно сводятся все разрешимые объемные ограничения. 

Теорема 2. Среди приведенных объемных ограничений су- 
щевтвует самое "узкое". Соответствующая ему универсальная ма¬ 
жоранта р (X) будет самой большой^Это ограничение задается 

условием X е !/ ^ 2 ^ 1 

х 

Доказательство.. Очевидно, что \/ - является приведении 


чение и 


аничением. Если /У- произвольное объемное ограни¬ 
чу , то использовав конечное число раз ра¬ 
венство 2 из определения объемного ограничения убеждаемся, что 

€ I/' . Оказывается, что эта "предельная" мажоранта 

р (X) не очень далеко ушла от обычной сложности К (X) ( а зна' 

чит К (X) близка к пределу). 






е<_ 







Теорема 3 . 


КЫ 4 р(*)< 




Доказательство . 

В одну сторону очевидно, что К (X) р(Х) по теореме 2 
( см. также теорему 4а). Для доказательства неравенства 

р М ^ 1<(х)+ 2 К ( у) 

достаточно показать, что любая финитная функция ^)>/ кМ +2 

принадлежит объемному ограничению ]/ 

І(у) 

( иа, теоремы 2). Действительно ^ 2 

* X с * * 

/- ^ ѵ _ г • 2 ' . , — 



г • 2 


К <*>-(* 


КІХ)=4і 




і ; к (4- 


* — 2 


Поскольку ' \х ѵ 
выражение не превышает 
что и дает требуемое. 


а 


то рассматриваемое 


« 2 


21* < і 


§ 2. Примеры мажорант . 

Определение. ( А.Н.Колмогоров). Пусть 
ч.р. функция. Тогда сложность X по 


- произвольная 


есть 


К 


. СЛ 

О'Ь-/ 



, если такого р не существует 


слово р такое, что 
раммой, по которой 


Определение (А.Н.Колмогоров). Пусть 


будем называть кодом или прог- 
может восстановить слово X. 

г - ч.р. функция. 


X- 


ПО р 


к 


р 


-/у р) \ р *(- у 

* )( 


есть 
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з (Яг- 


Определение (ЯоведандЧ. Сложностью разрешения слова 


х по ч.р. функции есть 


К 


Р 


(У) 





гплЛ 


&(?) ' Ѵі < г М Р г Гр, с)-Х; 


) 


если такого р не существует 


здесь у- - 


(~и знак слова х. 


К Я 


ы привели три величины,играющие важную роль в теории 


сложностей. Покажем,что они вписываются в общее понятие 


о* Ят 



. В частности, тогда из теоремы I 


получатся знаменитые теоремы оптимальности, открытие ко¬ 


торых А.И.Колмогоровым и Р.Дж. Соломоновым заложило 

Хл/мі-Я 

основы-всех исследований по сложностям. 




Пусть I/ 


образ любой точки ск имеет мощность, не больше 2 


*с 


Пусть у. 


4С 


, опре - 


делённых на парах чисел (у, у ) (правильнее было бы ска¬ 


зать. 


и 


на уизи^-Р^х 


каждом 4 


количество X ,для которых ф 


ос 


не превос¬ 


ходит 2 


л 


Пусть [/ - множество финитных 


функций, таких что 


ДЛЯ 




ос 


не пргвосходит 2 


с*. 


Легко проверить, что у 1/ г 9 У 


являются об"ёмными 


іями. Классы А и В будем называть эквиваленты] 


• ' ѵ ' Ч . 4 г' Ь 

ми, если для любой функции ^ из одного из них, найдется 


^4^ 


из другого. 
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ТЕОРЕМА V* 





с*) Класс у - 

ностей по различным алгоритмам. 


эквивалентен классу слож- 



с?~) Класс. \[ 


оиѵг 



эквивалентен классу ус¬ 


ловных сложностей по различным функциям. 




эквивалентен классу слож- 


«$) Класс 1/^ - '' Г 

ностей разрешения. 

Доказательство. 

€ 

Докажем теорему ^.<2. ТеоремыЧ/иІ^докалываются 
логично. 


аяа- 




Легко в идетъ,что сложность по любому алгоритму явля- 

| у У 

ется у 1 - мажорируемой, функцией, Обратно. Пусть р 

а * • * ’ _ 

- мажорируем». Тогда всем точкам ( ) над её графи¬ 

ком можно ставить в соответствие различные пары (X р ), 


где р)~и + ! 

Из ограничения |/ 


вытенает 


алгоритма^ 


хватит. Сложность по построенному алгоритму будет на I 
больше Р (у) ,ѴЪя требуется доказать. 


§ 3. 


'ІСіЬ^р<^ с ^^ ги ' ое 





функции и сложность. 


Сложность обладает важным свойством инвариантности, а 






именно 


оиу^Г 


Замечание : 


При любом ч.р. из оформи зме между двумя пере¬ 


числимыми множествами сложность их элементов изменяется 
на более чем на константу* 

Кроме того, сложность обладает " информационной корректно¬ 
стью", а именно 

Замечание: Существует такая вычислимая нумерация пар 


, Л } (()-у /( г (() 






что сложность пары не меньше сложности ее элементов с точ¬ 
ностью до аддитивной константы ( это верно даже для любой 
. нумерации ). 


Сложность принимает значение порядка логарифма значений ар* 
гумента,т.е, она даёт не очень много информации о словах, 
но окезываетсяуболее "богатой^функции не существует даже 
среди функций любой природы. 


ТЕОРЕМА 5. 


Любая инвариантная, информационно корректная ( в дан- 


функция р су) 


будет не больше функции 


V- 


О0 


мультипликативной 


Сделать точность аддитивной нельзя,т.к. уже переход к сло¬ 
вам в другом алфавите меняет сложность мультипликативно. 
Доказательство. 

Алгоритм,по которому измеряется сложность,можно предста 
вить в виде супперпозиции функций *д и обратимой 
функции. Товда из условия теоремы вытекает,что г/._ 


щ 




ТТ 1 д и д 





если^4(і?/-Х 

Осталось показать, что Р(р) 


с-Пр) 


,это 


получается путём построения четырёх изоморфизмов натураль 


ряда 


длины не большей у\ 


. Теорема доказана. 


§ 4.Вычислимые мажоранты сложности. 


Очевидно, если мы знаем само слово х и его сложность 

то можно эффективно ( хотя бы перебором ) найти одну из 

# 

программ наименьшей длины, кодирующих слово х. 

Более того, если мы знаем слово х и какое-нибудь число 
5>/еСѵ/ ,то можно эффективно найти одну из программ слова 
х, которая хотя возможно и не будет самой короткой, но все 


длину^ не превосходящую 


Поскольку слож¬ 


ность по^оптимальному алгоритму - не-вычислимая функция,то 

на практике приходится довольствоваться вычислимыми её ма- 

• ... 

жорантами,которые дают длину* хотя и не самого короткого 

кода, но зато эффективно вычислимого. В исследованиях 

л 

БдрздинХ, Петри, Кановича было показано,что в некоторых 

случаях эти мажоранты лишь очень грубо оценивают сложность 
однако имеет место. 


ТЕОРЕМА 6. 


(^іммслл $ $) 


Любая "информационно корректная"'"функция меньшая 
точностью до аддитивной константы ) всякой вычислимой 
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мажоранты сложности будет меньше ( с той же точностью) и 
самой сложности. 

Доказательство. 

Легко показать, что любой алгоритм можно представить в виде 
суперпозиции обратимого алгоритма, принимающего все значе¬ 
ния и функции { Су) . Сложность по обратимой функции 
ляется просточГе обращения* и,значит, вычислима. Из этого 


яв 


замечания следует утверждение теоремы. 


§ 5. Сложность разрешения. 


При изучении сложности последовательностей ( а не зако 
ченных слов ) по многим причинам не совсем естественно 
пользоваться величиной К ( у ) или ). Поэтому 

© ГГ **"' 

была введена величина 




.которая оказалась очень 


плодотворной. Например, очевидно 


является вычисл 
Для іс (х) это Ні 



, когда 


ЬО тогда и только тогда 
ограничена. 


для это неочевидно, 


и некоторое время назад было проблемой. Однако она была 
положительно решена автором независимо от Колодия, Ловелан- 

•.( ѵ ' - ■ я * 

да / США / и Мишина. Этот факт следует из теоремы, которая 


устанавливает некоторую связь между 

ТЕ ОРЕМА 


и К(*Н(х)) 

кп сх) 


Для любой Іѵ 6--П 


величина /<У7 




:г. 


чена тогда 





- Ю - 


и только тогда,когда ограничена 


к <у Л /„) 


*> 


Доказательство. В одну сторону утверждение очевидно: 
если последоваиельяость в ычислима, то существует общерекур¬ 


сивная функция гы 


(сѵ). 


. Положим 




Р'(п) 


; тогда 

к я ( ш % I 


так как 


то есть 


Г г (А,ь) = (и/і 
КО"/л)4 с 

К () 


ил)- о 


; следовательно. 


С 






Докажем, обратное утверждение. Пусть С 

Мы хотим доказать существование процедуры, которая бы по 


номеру п выдавала 


(М 


п-“ знак последовательности 


. Выпишем в столбик все слова р длины, не превосх 
дящей С и построим таблицу, как доказано на рисунке 4: 


в и -^столбце против слова р стоит 

г 

(I.внесли функция Г определен 


(Р 


(см. 


определена на паре ( р , п ). 


Множество слов Р е ? (р\л] 
значим , В каждом ^ 
обязательно (е 




столбце,рбо 


.стоящих столбце 

. Сч | 

іе более 2 слов,причем 

Пусть 

оі ^) 


•&) Однако, как показал Петри, не существует эффективного 
способа оценки по константе, ограничиваю 

щей к( (4, х/ ) »т.е. первая может быть очень велика. 


і 




II 


Очев идн о, мн оже с тв о 

44 


V 


{л : с4 (Аг) ъе} 


перечислимо и бесконечно. При этом в силу определения 


только для конечного количества чисел и 
наибольшее из таких чиселъ обозначим т г 


^ (^гг) 



ющих 


Пусть количество последовательностей ѵѵ ,удовлетвори- 
условию К(м л /п)<?( ,равно /с , Обозначим через 

т г минимальное число, такое, что все ѵп г - фрагменты этих 
последовательностей различны (кстати, во всех столбцах, 


начиная с р\ г - ьо 


.должно стоять по меныцей мере к елов- 


фрагментов этих последовательностей ( эти фрагменты будут 

х) 

различны ); поэтому |<<^ ). Пусть (к „ \ 

* / І; 


и 



. Пусть 




и 'п < л; 


/і 


> 


Алгоритм, разрешающий і-н? (в лексикографическом поряд 
ке ) из наших последовательностей, действует так: 
пусть мы хотим определить знак і- и последовательности. 


Приводимое 


эффективно 



эффективной процедуры построения чисел /с и /п 

• Мы лишь доказываем,что искомый алгоритм 
существует ( интуционист выразился бы: 

"Не может не существовать"), поэтому для нас достаточно 


лишь самого факта 


Л ! / /»1 , 
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и нач 


нем заполнять п - и 


Выберем минимальное V такое,что п г у ^ 

столбец $ то есть строить слова 

Р г (р /Л ^ 4 >(р)±с • ^ ак тольк ° окажется, что уже 

' * у 

построено^ слов, мы останавливаемся: мы получили все слова 

из А- . Следующий шаг: выберем из А „ слова длины п„ 

7 

обозначим ^ ? Далі 


им множество В 


/1 




выберем из В 




должениями слов из 






слова, являющиеся про 




ч * 


. далее, из 7^ 


'Ь-І 

жением слов из С 


л 


множество этих слов обозначим 
выберем слова, являющиеся продо; 




С» - ъ 

ем слов из С 




1+2 

- они образуют множество ; 


тъ 


п 


г-гг 


продолжени 


,и так далее. 


Осязановимся на том шагу, когда в очередном множестве С 


А 

п 


1 


окажется равно к слов: теперь мы уверены, что вве слова из 

есть -фрагмента последовательностей,удовлетворяющих 


С і ^ 

условию К((Мц / л ) < С • Рыбарем из слов Л 
величине сдово.и найдем его^-Д" знак;он и будет искомым. 




по 
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В этой главе рассматриваются детерминированные и неде- 


(4 

термированнйе 


роцессы, производящие последовательности. 


Центральным реаультатом является построение универсальной 
полувычислимой меры и выяснение её связи со сложностью, 
в конце главы результаты её прилагаются к изучению возмож 
ностей вероятностных машин. * 


§ I. Определения. Эквивалентность мер. 


Определение I. Алгоритмическим процессом, или просто 


процессом назовем частично рекурсивную функцию р .отобража¬ 


ющую слова в слова,такую, что если для слова х определена 

ГС*) и у с X ,то Р (у) также определена, и 
р ( у<гр(ѵЦ 

Пусть и> - 



некоторая бесконечная последовательность. 


Будем применять процесс Р последовательно ко всем фрагмен¬ 
там ч; до тех пор,пока это возможно (то есть пока фРопредей 

лена ). В результате мы будем подучать фрагменты некоторой 
4Ріі ) І^і ) Р^іШ§ тельнос ' ГИ (возможно,конечной, или даже пустой 




х) Если для некоторого п ?((•*>)*! определена и все 

; гп>п совпадут с Р (Ы^) 
определены, то результатом будет Р((ч>) п } 


или 


. Пустое 

слово получится в случае, когда Р((ы„)) при всех и не 
определено или пусто. 
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■-результата применения процесса Е у сѵ ( т.е. процесс 

р отображает _(2 в -12 ). В этом случае будет исполь¬ 


зоваться также 





.« 


Замечание. Существует универсальный процесс,то есть 


частично рекурсивная функция И(і)у) такая,что для любого 


і 


Н((',х) есть процесс и для любого процесса Р 


сущест 


вует ( такое,что Н (( у У) В 


и 


легко построить из универсальной частич 


но рекурсивной функции 


* Без ограничения общно¬ 


сти можно считать,что 

НОі,Л)=А 


(это понадобится в дальнейшем ). 


Процессы С и 


если 


для любой 


м 


Р (іл) 


6-(и>) 


Замечание 



любого процесса существует экви 


валетный ему примитивно рекурсивный процесс. 



ленив 


Будем говорить, что процесс применим 


к последовательности, если результатом его применения к 
ней являктся бесконечная последовавельность. 

Замечание .Л юбой процесс на* множестве тех последо¬ 


вательностей, к которым он применим, является непрерывной 
функцией (относительно естественной топологии пространства 
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бесконечных двоичных последовательностей ^ 


О пределение 



цщм 



Будем называть процесс 

к последовательности ш ), ес¬ 


ли существует монотонная неограниченная общерекурсивная 
функция <$>(*} такая,чтот для любых у ( для любых х,являю¬ 
щихся фрагментами ) и и. таких, что и ра/ оп- 


длина 


слова р(х) будет не меньше фо\) • Вудем 
в этом случае говорить. что скорость рост а ( применимости к 
кіи/ ) процесса р не меньше ?(*) , 


Замечание 


Легко показать,что процесс,применимый 


ко всем оѵ 


,является общерекурсивным и быстрорастущим 


Очевидно,верно и обратное. 



. Пусть р - вероятностная мера на_/2 . 


Будем говорить,что процесс 



,если множество 
последовательностей, к которым он применим,имеет Р - меруі 




Для того,чтоі$ы задать произвольную меру на борелев- 


ской б -алгебре подмножеств _П .достаточно задать её зна 
чения на множествах • 

Назовем меру Р на 

существуют общерекурсивные функции 
такие,что рациональное число р(* ) и) - 


Определение 



ес 


и 




Е і*> «) 

о- (у 


«-) В этой топологии Л гомеоморфно канторовскому 


ѵ совершенному множеству 


;/ 
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приближает число Р(Т Х ) с точностью до 2 Л 

Замечание . Очевидно, если мера р вычислима, то 
число И**' приближает мерз/ ?СР Х ) 

с точностью до с избытком, Поэтомз/ мы в дальнейшем без 

ограничения общности всегда будем считать,что (*, уже 

является приближением с избытком,а в качестве приближения 
с недостатком с точностью 2 П будем брать (*,*} -2^ 

Будем обозначать і. и называть равномерной меру 

/-{Л} =. 

Эта мера соответствует испытаниям Бернулли с вероятностью 

р^-1 ; она же - мера Лебега на отрезке 0,1 , Мера 

• " г 

,очевидно, вычислима. 

ТЕОРЕМА 8. 

а) Для любой вычислимой мерыР и любого Р - регулярного 
процесса Р мера 

О, {.Ру} ~ '(РсуУ&'р.у 

( то есть мера,по которой будут распределены результаты про¬ 
цесса Р ) будет вычислимой. 

б) для любой вычислимой меры Д существует регуляр¬ 
ный процесс р такой,что результаты его применения к последо¬ 
вательностям, распределенным по мереЬ щ распределены по мере 
(5 .причем такой,что для него существует процесс Сг , приме- 

х) Несколько более слабый факт независимо доказал Манн /США/ 
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нимый ко всем последовательностям, кроме,может быть, разре¬ 
шимых или лежащих на отрезках $ - меры О , и обратный к р 
( в области определения процесса р.^. ), 

Доказательством 


а) Нам нужно уметь вычислять $ {^ГуУ с точностью 


до 2 


-Л 


,то есть находить с( 




. Выберем 


ггл такое, чтобы 


р{ш: ^(Р(М„)) >-?(//} >/- г 




(такое г* существует, так как процессР Р- регулярен. 


эффективно) 


дли- 


просуммируем для 


ны/г> такие,что ^ с рсу; ,и 

вычисленные с точностью до 2 ,то есть по 


ложим 






Тогда наша ошибка (то 


превзрйдет 2 




7 * 2 


X І 

есть в{гл) 

2 — г 

тся суммирование, не бол: 


(так как 
е,чем 2** ), 


что и требовалось. 


б) Будем рассматривать двоичные последовательности 


как дейбтвительные числа на отрезке 


( последове- 


ІЫЕ-) Мы не будем строить приближение с избытком, а постр 

произвольное приближение; сделать из него приближение с 
избытком легко. 
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тельность является двоичным разложением соответствующего 


ей числа ). Все случаи, когда это может привести к недора¬ 


зумению ( из-за неоднозначности разложения в такую после¬ 


довательность двоично-рациональных чисел ) будут особо ого¬ 


ворены 


На рис,5 



/ 


соответ 


ствующая мере О , Как известно,если случайная величина? 


распределена равномерно на отрезке г°.о ,то случай¬ 


ная величина 


г т 


распределена 


с 


идее и будет рсновано наше построение 


I. Построим процесс Г , индуцирующий меру О из 


меры ( фактически это будет процесс вычисления функ¬ 


ции ^ 


-і 


для 


требование вычислимости меры ). Пусть есть последова¬ 


тельность Л , и нам дан ее ь -фрагмент (и) 


Найдем по 


нему приближение ( с точностью 2 


-п 


) с недостатком л 1 


и 


и 


с избытком л» числа л 


Рассмотрим все слова у длины 


п ; вычислим для каждого из них меру в{0 “"Звуком 


с точностью 2 


-2 Л 


(то есть (%,г*) 


). Выделим те 


слова 2 длины ь. , для которых 




-г/і 


2 


і - > " 




I 


СО 


для 


ком с точностью ? 


-Л 


(кіи Г Л с недостать 

Я Л ^ 


) и 





оС 




а Оо 




! 


( 2 ) 


ч 



( сумма слева есть приближение для {'у с избытком 


с точностью 2 





). Выберем наиболее длинный общий фраг¬ 


мент всех выделеленных слов и выдадим его в каяестве 


значения Р на (Я/ 


В. Множества |/Г^ согласно (I) и (2), являются отрез 


нами, содержащим! 


каждом п ) # 


поэтому,если процесс Р применим к ы , тощего резул 




будет ^ и) 


точку У - см. рис. 




точек 6 X?',б"~\ будем считать 


Для того,чтобы доказать,что про¬ 


цесс Р искомый, достаточно тем самым доказать его - ре¬ 


гулярность. 


3) Пусть / лежит на отрезке типа (V ,<о"2 .соот¬ 


ветствующей одной единственной последовательности % 


имею 


іей положительную меру. Тогда,еслилежит 



отрезка 


Г с ', &"] » т0 с того момента,как 2 




-окрестность отрез» 


ка ГѴ ,<] будет целиком лежать внутри отрезка |> \с"] , 


множество выделенных слов г будет состоять из одного 


единственного слова,являющегося л-фрагмеятом искомой после¬ 


довательности у , и* следовательно, процесс Р будет примени 




ним к .К концам ртрезка р <5 


' у д П°Ц есс Р ,вообще 


говоря, может быть неприменим* 


2) Пусть теперь*/ не лежит на отрезке типа С<т\<?"] 
Тогда из (I) и (2) следует, что 6? “Сі/ ЧУ О при — , 
откуда,если «с не является точкойттипа соответствую¬ 
щей отрезку меры О ,то и сами отрезки (УГ+ .стягиваются 
к одной точкеуз -^-прообоазу </. . Поэтому длина наиболь- 
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/ 

/ 

шего общего фрагмента выделенных слов -2- стремится к бес¬ 
конечности, за исключением,может быть, тех случаев, когда 
точка /3 - двоично-рациональная, так как 

* 4 ^ 

г - 

3) если р = ,то отрезки і/Г^ могут всегда 

содержать как последовательности, лежащие слева от 
и,следовательно, начинайщиеся на слово ,так и после¬ 
довательности, лежащие справа от , и,следовательно, 

начинающиеся на слово/я . В этом случае наиболее длинный 
общий фрагмент всех выделенных слов 2- будет иметь длину 
меньше К в 

Итого, процесс р может быть неприменим только е пос- 
ледовательностям типадіЗ^ см* рисТо) .типаб''* и <г" 

( см* рис.5), а также к последовате льностя#, имеющим дйоич* 

* 7 *' . ' ; А • * Ч ► 

но-рациояальные прообразы. Очевидно, что множество таких 
последователйностей не более чем счетно,следовательно, про¬ 
цесс р- і -регулярен. 

Ш. Построить обратный процесс не представляет 
труда: это будет процесс вычисления функции ^ * При этом 
процессб будет неприменим, во-первых, к последователь¬ 
ностям типа у .имеющим положительную меру ( такие последоі 
вательяости, как легкоіпоказать, вычислимы; мы здесь этого 
не доказываем, так как вследствие теоремы и будят дока¬ 
зан более общий результат ) и,во-вторых, (может быть) к 
последовательностям у? ,на которых функция принимает 
двоично-рациональные значения (аналогично П(3) ). Если 
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процесс Г применим к этим двоично-рациональным значениям 
с* ,то наши последовательности р$ вычислимы (как Г - образы 
двоично-рациональных ); если же процесс Р не применим к<* , 
то ( см. П ) наши последовательности р либо есть точки 
типа у ( этот случай уже был рассмотрен ),либо образуют 
целый отрезок(т' *7"3 ф - меры О, либо сами двоично- ра¬ 

циональны (следовательно, вычислимы). Теорема доказана. 

* 

§ 2. Полувычислимые меры. 

О пределение. Полувычислимой мерой* ^ называется мера, 
по которой распределены результаты применения произвольного 
( не обязательно регулярного ) процесса к последовательно¬ 
стям, распределенным по некоторой вычислимой мере. 

Замечание. Полувычислимая мера сосредоточена на про- 
страястве^_0* ,так как нерегулярный процесс может выдавать 
с положительной вероятностью и небесконечные последовательно 
сти. Под Г* мы будем в дальнейшем ( в этом параграфе ) 
понимать множество всех конечных и бесконечных последователь 
ностей, начинающихся со слова х. 

Замечание. Результаты применения любого процесса к 
последовательностям, распределенным по произвольной полувы¬ 
числимой мере,распределены также по некоторой полувычислимой 
мере X так как суперпозиция двух процессов есть процесс ), 
и любую полувычислимую меру можно получить некоторым про- 

іщесом_ неравномерной меры ( см.теорему 8-6). 

) Название "полувычислимая” оправдывается теоремой 9, 
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ТЕОРЕМА 9 . 


Р является долувычислимой тогда и только тогда. 


когда существуют общерекурсивные функции Р(х^) 

такие, что функция /з ГЛ/бі — 

р <г(х*) 


и 


монотонно не убывает по *б- » 


■О.?* !?„(*,■+) 



г 


Р{гл 


(і) 


Из этой теоремы вытекает, что класс полувычисИШАых мер 
( точнее их логарифмов ) эквивалентен классу |/ - мажори¬ 
руемых функций, где ]/ - множество фиДитных функций, для 


которых 2- 

Хе/ч 


-4(х) 


! 


при всяком м 


в кото¬ 


ром никакие двавслова не являются началом друг друга. 

доказательство . Пусть Р - полувычислимая мера. 
Тогда существует^процесс Р .получающий эту меру из равно 
мерной. Заставим его совершить по^б шагов на всех словах 
у длины, не превосходящей , и, обозначив результат за 


(если он еще не получился, то (у) — А 

- I'■ Д ‘Л'Ф 


,поло- 




Обратно, пусть для меры р существует функция |? й Г х,^) , 


Р 








■условиям 


цеоо Р .получающий меру Р из равномерной. 

Идея этого построения проста: нужно,грубо говоря, разбить 


СО.ІІ 


Р{ГЛ 


и выдавать слово х в том случае, если наша равномерно рас¬ 
пределенная последовательность попала, в соответствующее мно 
жество. Теперь проведем построение чётко. Очевидно,что 


РЫ 


> 


Р{Г Я ,}* Р{г»Л 


Более того, без ограничения общности можно считать,что при 


всех 




(каждый раз, когда это неравенство не выполняется, можно 


*.<***> 


іл 


о 


настолько, чтобы неравенство стало вернщ; при этом условие 

( 3^ ) йе нарушится ). Легко® построить на отрезке ^о,і^ 
множества, удовлетворяющие следующим условиям: каждой паре 
( ) соответствует множество - объединение конечного чис 

ла интервалов с рациональными концами, имеющее лебеговскую 

мер У 4 ( *'^ 1 при этом для слов * одинаковой дли¬ 

ны множества,соответствующие (*,+) и (у ~і ) не пере- 


каких 




для 


дом * множество, соответствующее (х,*) ,включает в себя 

множество,соответствующее^] ; для при каждом х 

множество, соответствующее ( х ), включает в себя мяоже- 
ство,соответствующее ). 







Процесс Р действует так: по слову % он строит наши * 
множества для всех пар ( * Д ) таких,что су) < ^>(^/ и 
■Ь * ■€(?) » и выдает .слово х наибольшей длины такое, что і 
^принадлежит множеству, соответствующему (хд ) для ка¬ 
кого-то (очевидно, такое х только одно, так как множе¬ 
ства, соответствующие разным х, не пересекаются, и для 
^ 1 с 2 " *" 

§ 3. Универсальная полувычислимая мера, 

ТЕОРЕМА ІО; Существует универсальная полувычислимая ; 
мера'Д ,то есть полувычислимая мера, удовлетворяющая следую¬ 
щему условию: для любой полувычислиаой меры О. найдется | 
константа С такая,что 

С • КСгЛ ^ Д О-Л 

-Х-) 

для любого X 

Доказательство, Согласно замечанию на стр.ІІ суще¬ 
ствует универсальный процесс Н (і х ) * Цоложим 

> 8 

' ^ 3 * 

р (?) — и (ТЕ, (?) , тг* (?)) 

? -■ ^ . .-- |Г ;•! 

Легко показать,что Р/-?) - процесс . Этот процесс,применен- 
ный к последовательностям, распределенным равномерно, инду- 

і- і 

цирует искомую меру. Действительно^. пусть процесс Д (у) пе 
реводит некоторое множество последовательностей в множество 

-*) Иными словами, ф-абсолютно,непрерывна относительно , I 
причем производная РафаД*-Никодима ограничена крнстантай С.І 
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Г л • Тогда процесс І^^дереподит в те же последователь¬ 
ности с приписанным к ним слева словом і , где С - но¬ 


мер процесса (г ( то есть Н (і,ч) 




I для всех х )и 


может быть, некоторые другие последовательности. Поэтому 
мера Г х не может уменьшиться более чем в С раз, где в каче 

„€(?) -о 

стве с можно взять 2 -с 

Замечание ..Аналогичный результат для вычислимых 
мер не имеет места: среди всех вычислимых мер не существует 
универсальной. Этот факт является одним из поводов введе¬ 
ния понятия полувычислимой меры. Мераоказывается (если 
пренебречь мультипликативной константой ) "больше”любой 


другой меры 


подмножестве 


XI* • 

• л- 

Математическая статистика ставит задачу: выяснить, 
по какой мере может "случайно" получиться данная последова¬ 
тельность. При этом, если о свойствах последовательности 
запаяее ничего не известно, то единственное (самое слабое) 
утверждение, которое мы можем сделать относительно нее - 
это то, что она может случайно получиться по мере ^. Таким 
образом, мера ^соответствует тому,что мы интуитивно понима¬ 
ем под словами "априорная вероятность". 

Представляет интерес следующий факт: 
а) существует константа С такая,что вероятность ( по мере 


•Ю выпадения единицы после л нулей не меньше ; 

б) для любой константы С доля тех ^ , для которых веро¬ 
ятность ( по мере ) выпадения единицы после и нулей боль 

те 





« 
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4- . >не Н ревосходит 


шом отрезке от О 




порядок 


п 


*) 


Доказательство этого утверждения легко вйтекает из 
теоремы II,если учесть,что сложность разрешения слова,сос¬ 
тоящего из п нулей и единицы, не превосходит причем 

для большинства таких слов почти равна . 

Можно проследить аналогично между построением сложно 
сти и универсальной полувычислимой меры. Оказывается,эти 
величины имеют и численную связь. 


II. 


і 


(-^Мгу У) I 4 2-еу^кяы 


оказательство . Пусть КТ\бО^(,то есть существует сло¬ 


во р, ,такое,что для всякого п 




Сг? (р 


у 


(здесь 6 из теоремы 8 /Ц / ). Тогда легко построить про 
цесс, который любую последовательность, начинающуюся на 


слово *С(р) Р 


, переводит в последовательность, начина- 


утверждение 


к уни 


версальной (априорной ) вероятности. Например, если 
известно,что Солнце всходило ІОООО лет,то это еще не оз¬ 
начает,что вероятность того,что оно завтра не взойдет, рав¬ 
на примерно --—— .Это было бы верно,если бы наша 

3650000 

информация о Солнце исчерпывалась указанным фактом. 
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ДЛЯ 


ющуюся на слово х: он должен сначала выделить ; 

по нему восстановить р) ; зная ^Ср) ."прочитать" само 

слово р ; начать приписывать друг к другу 6-*(р,л) 

Д- Если применять этот процесс к последовательно¬ 

стям, распределенным равномерно, то индуцированная мера мно- 

— ііфі р) 

жества будет не меньше,чем 2 . Поэтому сог¬ 


ласно теореме ІО 


* г г 


-<(цч Р) 


откуда 


Ъл.,Ц{г у ] і <(< 


ІР> 


р) 


4 (< (р\) 1- 4 ( р) 


4<,?) + і <«(?))= І^г4а)~ кЯ(х) 


і 

;і 


Пусть теперь 7^ { . Обозначим 


-€ (у) 


Ру -и&у, 2 ^7 


Оценим сложность разрешения слова х ; для этого мы покажем, 
что любой знак Слова х можно восстановить по информации, за¬ 
даваемой тройкой слов ) 1^,1 ( или, что то же са¬ 
мое ,одним словом Щ) )Г С ) ,где а ^ 

он нач- 


Наш алгоритм будет действовать т^к: по слову -Р (*р) 


нет выстраивать дерево ( смТрисТ?) слов у таких,что 

П < гл > а * > -' 


(для этого нужно вычислять г, 

'я 


ДЛЯ 
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ний^ и ^ и подстраивать слово ^ к дереву, как только 
для какого-то ^ станет 

? г ' щ> ~' 

Слово х принадлежит этой совокупности. На каждом шагу алго¬ 
ритма мы будеи выделять в уже выстроенной части дерева со¬ 
вокупность "максимальных” слов, то есть слов,которые пока 
не имеют продолжения в уже выстроенной части дерева. Нсно,чт( 
что количество максимальных слов от шага к шагу будет не убы- 
вать,оставаясь меньше 2* . Пусть точка А (см.рисТь) 

есть точка, от которой отходит последнее "побочное ответвле¬ 
ние" от слова х: дальше слово х идет без ответвлений. Для 
разрешения слова х нам достаточно, во-первМх, задать к, рав¬ 
ное 0 или I в соответствии с тем, идет слово х "влево" от 
точки А или "вправо", и,во-вторых, задать какую-нибудь ин¬ 
формацию,по которой алгоритм мог бы "найти" точку А. В каче¬ 
стве этой информации мы зададим число с - количество мак¬ 
симальных слов в тот момент, когда впервые от точки А будут 
отходить ( в уже построенной части дерева ) оба ростка (как 
раз,когда мы пристроили второй в порядке получения роёток, 
количество максимальных слов увеличится на I и станет равным 
С ). 

При этом 

I ^ 2^** ^ -сс 2 >ь -ей} <: 

в итоге \<7\ Су) ^ К О ~ + ^(0 ^ 

2 ^ П{г<} •} 2 Я “С 1 *} 
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і 


Но по доказанному ранее 


а *с*ъ( -- 6 % Я { ГД ) 4 ? [кя і*нг-е(к% мЩ 




откуда 



4 /ся 

Я (у) 4? Я *( Г У } +1 Оо) 


,что и завер 


:ает доказательство. 


Интересно заметить,что из обычных соображений теории меры 
вытекает, что любая I необязательно полувЦчислимая ) мера 


9 


р (<* л ) У/с- ТК(ьо, 


Точно так же для -почти всех последовательностей имеет 
место неравенство в обратную сторону;еслир абсолютно не- 




ДЛЯ 


І' - 


V і 


ти всех последовательностей. Отсюда вытекает,что факт,ана 
логичный теореме П имеет место для произвольной полувы¬ 
числительной меры Р на фрагментах Р - почти любой по¬ 
следовательности (конечно, константа для каждой последо¬ 
вательности своя). 

В качестве следствия получаем известную теорему 

г- Ша П ер 'О; 

шениона —Не-йман- —Маша- о вероятностных машинах: 


Следствие. Последовательность имеет положительную 
вероятность по некоторой (а,следовательно, и до универ¬ 
сальной ) полувычислимой мере тогда и только тогда,когда 
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она вычислима. 


Доказательство. 


Из теоремы II следует,что мера всех фрагментов боль 
_ ше некоторого положительного числа; тогда и только тогда , 

когда сложность их разрешения ограничена. 


§ 4* Вероятностные машины 


Предыдущий результат Шениона иногда интерпретируется 
как невозможность решения с помощью вероятностных машин 
задач, недоступных детерминированным машинам. Однако не 
всегда задача состоит в том,чтобы построить некий конкрет 
ный однозначно определенный об"ект;иногда у задачи может 


много 


решений, и нам требуется построить лишь 

В такой постановке,очевидно, существу- 

машинам. 

ют задачи,которые недоступны детерминированным,/но могут 
быть решены с помощью машин, использующих датчик случайных 
чисел (примером может служить задача: построить какую-нибудь 
невычислимую посладовательность ). 



Будем говорить»что задача построения ( какой-нибудь ) 
последовательности, обладающей своством П » разрешима г. 


помощью.в ероятностных.машин. если универсальная мера ^ та¬ 
ких последовательностей больше нуля. Следующая теорема по¬ 
казывает, что такие задачи действительно можно решать со 


* ск о ль 


іт 


на х,ис поль дующих 
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датчик случайных чисел, причем весьма экономно. ( употреб¬ 


ляя мало знаков датчика). 




»/ асеимптотиче 


ски рАыми ( и писать ^ ( ») 

и .-і «с а/_ 


,есди 


4 


і*) 


</ о ы 


аналогично будут понимать¬ 


ся неравенства» 


ТЕОРЕМА 12. 


Пусть л ^ ОЯг о ♦ Тогда для любо- 

существ^ет быстрорастущий (т.е, елаботаблич- 


го 2~?’О 




процесс, ко¬ 


торый, бу дучийприменен к последовательностям, распределён 


ьіл по мере ц ВБ 
стью не меньше | 


*) 


Очевидно,что, например, задачу получения какой-нибудь 
максимажьно сложной последовательности решить процессом, 
растущим быстрее нельзя, т.к. при применении процесса ело: 
ноств слов не может возрастать. Если же сложность последо 
вательностей из А мала, то должны существовать короткие 
программы,дающие фрагменты этих последовательностей. Но 


мыслима ситуация, когда эти программы очень у специфичны 
( из-за спецификѣ ) и использовать вместо них столь же 


■*$) Заметим, что,во-первых, построение этого процесса 
по 2 не всегда эффективно, во-вторых, как пока¬ 
зал Н.Петри, этот процесс не всегда может быть заме- 
нен табличным /т.е. быстрорастущим и общер екурсивным/ 






32 


короткие случайные числа нельзя и значит процесс,решающий 
задачу А, будет расти медленно. Однако можнр доказать,что 
в &том случае существует и "быстрый" процесс. 

ТЕОРЕМА 13. 


Пусть ^ - общерекурсивная монотонная функция. Задача 
получения последовательности из множества А тогда и только 
тогда разрешима с помощью процесса,растущего со скоростью 
ассиАютическикогда существует множество^ 

Ъ-тй .такое что 

К Я' (у) $ п у дг ~ 

Докезательство теоремы 13. 


В одну сторону она,очевидно,вытекает из замечаний 


предыдущего абзаца, докажём её в 
Пусть ТЪ ^-4 ) '[К (%) у о $ 

фрагментов 


другую сторону. 
Ѵ""Гс л ожн ость 


её 


$ (л > - 



1 этого сначала построим полувычислимую меру р(у) , такую чтс 

Р (Т>) У/ 6 и Ѵх <х)ш РМ 


где л - целое число. Для этого сначала округлим в точ¬ 
ках значений $ (п и "срежем" по яеравеству 



р(у) Р (у&) Р(уі) . Легко показать,что получен¬ 

ная мера на последовательностях из Уменьшилась не более чем 

на . В то же время «71 У/ ^ 

Й Это множество^ всегда может быть выбрано замкнутым. 








N 
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значит по теореме 


(//) 1к(х) ъ г* »*>% 


, и 


значит на последовательностях РСу) ^ Отсюда 


?(Ь)>о 


. Далее для Р строится процесс по дока¬ 


зательству теоремы 


(*)•*, 


причем множества,соответствующие 


паре (*,*() 


(где 'Сск)-^(аі) 


) выбираются состоящими 


из интервалов длины кратной 
этот процесс требуемый. 


2-г", л 




.Очевидно, что 


Приведем один результат,касающийся возможностей реше¬ 
ния на вероятностных машинах стандартных алгоритмических 
задач . Первый интересный результат такого характера был 
полечен Баі^инем. 

Будем называть бесконечное множество натуральных чисел 
иммунным .если оно не содержит никакого бесконечного перечне 


лимого подмножества. 


Предложение ( Ба дйз^шь ) .Существует иммунное множест¬ 
во такое, что задача получения последовательности, 

характеристической для некоторого его бесконечного подмноже¬ 
ства, разрешима с помощью вероятностной машины. 

Интересной разновидностью иммунных множеств являются ги- 
перимунные множества. Однако для них имеет место 

х) 

ТЕОРЕМА 14 . 


Каково бы ни было гидери/ммунное множество^ , задача 
получения последовательности, характеристической для какого 
нибудь его бесконечного подмножества, не разрешима с помо- 
(Цбю вероятностной машины. 

х) Независимо от автора диссертации доказано [также 

В.Н.Агафоновым. 
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Доказательство, 

Пусть есть машина, решающая с положительной вероятностью 
эту задачу. Тогда по теореме существует машина,ре¬ 

шающая её с вероятностью р . Построим функцию ^(і ) , 
вычисляемую таким алгоритмом: он применяет машину на де¬ 
реве последовательностей, пока на мере она не полу 

чит последовательностей, имеющих по крайнейм мере*' единиц 
и тогда берёт максимум мест* этих единиц. Очевидно,что 

она будет мажорировать прямой пересчёт множества М,что и 
требовалось доказать. 

В дальнейшем Петри показал, что^если множество 
М не фиксировать, то задача получения последовательности, 
характеристической для гиаариммуниго множества разрешима 
на вероятностных машинах. Однако а зюдущ ая имеет место 



Назовём сильно-гипериммунн^ множество,прямой пересчёт ко¬ 
торого мажорирует,начиная с некоторого места любую вычисли¬ 
мую функцию. Задача получения последовательности такой,что 
множество,для которого она характеристическая,сильно гипер- 
иммунно.не разрешима на вероятностных машинах. 

Доказательство аналогично предыдущей теореме. 
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Г .Л А В А Ш. 


ТЕОРИЯ ИНФОРМАЦИИ 


Определение и простейшие свойства 


Сложность КС *) иятуитивно^>ббзначает количество информа¬ 
ции, необходимое для восстановления текста х. Условная слож¬ 


ность К( х /^) интуитивно ^>ббзначает количество информации, 
которое необходимо добавить к информации, содержащейся в тек¬ 
сте у, ,чтобы можно было восстановить текст х. Разность меж¬ 
ду этими величинами естественно назвать количеством информа 

в ^об х. 



1 <>:*) 




ОВ 


ин&орма 


К ( У/ 


/< 




Замечание 


а) к *:у)>?0 


б) |1(у; у) 



КСх) 



Доказательство . 
а) Пусть г (, 

Г (р,х) 

Тогда, если Р„'(р)~и 
р '(V , у )• имеем: 


Ъ'(Р) 

Ф) 


■еш 


,то,так как 


кОУуЫ к 


б) Пусть 


ДѴ, у) 


к (У/ѵ) 




X 


Тогда и Г 7д *) 


, откуда 






с 


и 
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% 


Замечая, что Х(У 9 *х) 


іс(у)~/с(у/ х 1 


получаем требуемое. 


§ 2; Коммутативность информации. 


Классическое Шенніоновское количество информации в од¬ 
ной случайной величине о другой удовлетворяет условию комму¬ 


тативности,то есть 


-](<: ») 


.7 (9 С) 


Для колмогоровского количества информации в одном тексте 
о другом точного равенства, вообще говоря,не будет. 

для любогоиС существует 




слово х длины такое,что 

^ С у /^Сх)) 


€су) 


I 


Согласно теоереме 46 существуют сколь угодно большие -е такие 


что 


к(-е>) ъ ■?«.)-} 


Для так выбираемых пар слов х 


и ( *(*) * -е 0 


) имеем 


X (*:■(.) 


к((с)~ К (?о/у) ^ 

- к**.) 4 


К (у) 


С 


и 


Гаким образом,в некоторых случаях разница между Х(У'у) 

I(у: у) может иметь порядок логарифма сложностей рассма 1 


риваемых слов. Однако,как показали независимо в 1967 году 
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А. И.Колмогоров и Л.Левин указанный порядок является для 

Мі 

дляпредельным, и, следовательно, если пренебречь ве- 
личинами^ бесконечно малыми по сравнению с информацией, с одер 


жащейся в обоих ся овах, величина 


у) 


тативной. А именно А.Колмогоров иЛевин доказали следую¬ 
щую р ^ : 

ТЕОРЕМА 16* ) 


а ) !?(*:/>-1 


б) | :ч) 


Гк 


(X) У X 


< 12. €( К (А/)) 

’уУ- ^сѵ/7/4 \2-е(ког#)) 


Доказательство. 


Будем доказывать неравенство только в 


одну сторону: 






(I) 


Обратное неравенство следует из него, если поменять местами 
х и^ . 

Построим две вспомогательные функции. Пусть частично ре 

курсивная функция Р ѵ ( *, ё / с / х ) перечисляет без пов¬ 

торений слова ^ такие,что /< (у) & 4 , 


Счч) 


У 


*) Проведя оценки более аккуратно, можно их несколько 


улучшить,например, заменить и *?( 


на 


Гг 


Можно ли довести оценку до -?( к (ху)) ,ае известно. 
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таких 


У 


< / 


невычислимо 


зависит от х, € / С ) 



Функция Р ч определена для всех и только для ниі. 
Следовательно, предикат П(4 у С,о( ; х) .утверждающий, что 

* <4 

выше определенное число ^ превышает 2 , очевидно, экви¬ 
валентен утверждению,что Р ч (г] / с, х) — определена, 

и,следовательно, частично рекурсивен. Тогда аналогично Г 4 


существует функция От* (гл, а, $, с ; с4) 
без повторений все слова х такие,что % 


.перечисляющая 


К(УІ 



а , ПЫ / с / и.х) 


Обозначим через і количество таких слов х ( С невычисли¬ 


мо зависит 


от * / 4 / с / Ы. ).Очевидно, л, С/ оі) 


оп¬ 


ределена для всех /п <, с и только для них. 


Приступим к доказательству. Пусть даны слова 




х 




Тогда 


Х(/ іх)~ 


Далее,как было определено выше, ^ есть количество слов 


У 





і и К (Х/у)^С 


зависит от х, в С ),а с есть количество слов х' таких, 


что и соответствующее число У 2 

*(уі 


е (О 


. Легко 


видеть,что с-2 


не превосходит количества пар 


( х',у ) таких,что К (х'/у')^ С 

) Ли Лѵ/ 


б+с+г 


которых в свою очередь не больше, чем 2 

-еаы ^ €-+с /г/ 

Так как олово будет выдано в качестве значения 

некотором ,то 

оь> К (уік) 4 4(4 с п)^ г €(*) + г ?( с}+ ) 


, откуда 





і 
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Дальше, так как слово х будет выдано в качестве значения 


функции Сг ГАп, а, і. е 


ром уп 


с 


/ 

, то 


/ / 


0^) 


при с{ ~ ^(У) 


<*г к (У)— '•{(! 


/4/ 



Из неравенств/Стакже из того, что каждая из величин 




■€(<*) 


не превосходит 




,легко получаем 




е+е-А і-іг-е( к сх\л 


откуда и следует /а/ 

б) Очевидно,что 


кіху) 


отсюда согласно пункту (а) настоящей теоремы 


Х( Ч-х) 


~ (х •' *у) I -4 и ?( К ( О 


то есть 


ил. 


I К (ху) ~ К (ху/ъ) - \с(х) + К(Х/Ъу) ^ 

I К()ГуІ~іс(х) ~ к (у) 


* 1<( У ■'!<(*' 


У/ѵ) 


I? *(к(уу/) 


откуда, замечая,что 


% 


К 


(*ы 




о 



получаем искомое.^' 


Ь(*/ѵ) 
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§ 3, Энтропия произвольных динамических систем 


(стационарный случайных процессов ) и алгоритмическое 


количество информации. 


А.Н.Колмогоров показал,что для процессов независимых 
испытаний алгоритмическое количество информации асимпто¬ 
тически отпадает с классическим /вероятностным / 

( см. т.25 ). Принимая во внимание теорему 166, лег- 
ко понять,что для этого достаточно установить связь между 
алгоритмической сложностью и вероятностной энтропией. 

Дж.Т. Шварц поставил вопрос, имеет ли место аналогич¬ 
ный факт в -®лзчае произвольногоэргодического стационарно¬ 
го ПР 0 ЦС С С л 

. Автор решил этот 


вопрос положительно в следующей теореме. 


і 


ТЕОРЕМА 17. 




произвольный эргодический 


ыьционарныи случайный процесс со значениями р- 

ме С а на его траекториях со ^ Л~ Г , ?Ѣ}ающая ' этот п ' роце 


Н 


(I 




(і 


р 


слово 


ІАу 




Ы’) 1 


н 


существен- 


Очевидно, что требованіе^ эргодичности здесь не 

но. Разница лишь в том,что в случае не эргодического про¬ 
цесса нужно брать не его среднюю энтропию у , в "энтро¬ 
пию в точке".которая является функцией, измеримой, отно- 








сительяо 6^-ялгебры инвариантных множеств и интеграл её 
по любому такому множеству равен его средней энтропии. 

Это легко следует из того,что произвольный стацио¬ 
нарный случайный процесс можно "разложить” на эргодические 
.Вернёмся к эргодическому случаю. Сразу заметим,что утвер¬ 
ждение теоремы достаточно доказать для процессов с дискрет¬ 
ными значениями (^ ) д . Общий случай следует из этого, 
если перейти к пределу по д . 


IV 


Рассмотрим множество 2 п -ичнйгаг последовательностей 
представляющих из себя реализации нашего случайного 


процесса. На нём определено 

іЦ Т- 

ющее сдвиг времени на едини: 
единицу времени может получ 
вательностей длины к X* . 
дется К, такое что 


а %9ЁЁ$ ае Т , осуществи - 


единицу ,Ѵзадающ наш процесс. За 
получиться 2 различный последо 
Х ( ' . Очевидно,что для любого $ най 


1 


Р(Х, 


4. 


к 




Р(хП 


К'бН+г! 


‘Хф 0 охраняет мер* Р , Т о по 
’ ? • ® іл.*7дай гР - почти любой последоъательности . і-шл.» 






.. .-- _ - 

частотѣ таких ул ,что последовательность Т т ’ К ?? ) 

(IV) 

чинаетсд на > . 

Выберем любую такую и> и обозначим эти пределы для неё 


т-}(.■+-? 

( <-Ѵ ) 


на- 


через Р 


.8^ Э ГТдля 


вытекает,что почти всегда 


Таким образом, у нас есть ^ 


Ріе 


к 


эродичности последнего 

-Р^ к 1 

распределений вероят- 










ностей на конечном множестве X* и одно среднее между 




ними с энтропией 



К (И 1- $ ) 


» 


Используя выпуклость энтропии,можно заключить,что по 


крайней мере у одного из распределений- слагаемых энтро¬ 


пия меньше К ( Н+і) 


. Таким образом, для нашей ио 


существует .такое что энтропия частот Р- 




с ко¬ 


н¬ 


торами число )/г\ удовлетворяет условию 

/С «V 


99 


7 

1 «*) 


начинается на 


X: 


не превышает 


Н№е) • 


Отсюда по теореме А.Н.Колмогорова ( см.теорему 





с*о вытекает,что ” удельная сложность" не древішает 


Ъ* 


. Поскольку это доказательство проведено для любо-* 


го 


е 


Ю ,то можно заключить 


И 


удель- 


іѵ не превышает Н ,что да 


- » 


ет ” половину 


И 


нашей теоремы. 


Теперь докажем,что удельная сложность не может и быть 


меньше 


н . 


150 


Для этого нам придётся привлечь некоторые результа¬ 



ты из главы П. 


'г 


Рассмотрим набор X' згачений какой-нибудь реализа- 




< 


ІѴ процесса за первые К моментов 




и срав- 




ним четыре величины: энтропию Д/ 


логарифм вероятносии 




этого набора, делённый на 7 



.логарифм 


априорной вероятности его, ( см. опр^тоже делённый на 7 


1\ (Х- ) 


и удельную сложность 




7 


7 


Покажем, что пределы при 7 


этих величин совпадают. 


1 




Для первых двух величин это вытекает из теоремы Щеншіона 
Макмиллана -Бреймана, для последних двух из теоремы II 
настоящей диссертации,а для двух средних из замечания на 
стр. 2^ . Теорема доказана. 
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